Software Architectural Support for Tangible User Interfaces in Distributed, Heterogeneous Computing Environments List of Tables List of Figures

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix Chapter 1: Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 Research Problems and Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.1.1 Architectural Support for Tangible User Interfaces with Distributed, Heterogeneous Computing Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.1.2 Thesis Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.2 Dissertation Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Chapter 2: Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.1 Tangible User Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.1.1 Conceptual Frameworks for Tangible Interaction . . . . . . . . . . . . . . . . . . 11 2.1.2 Strengths, Limitations and Challenges of Tangible User Interfaces . . . . . . . . . 14 2.2 Distributed, Heterogeneous Computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.2.1 The Grid View of Distributed Computing . . . . . . . . . . . . . . . . . . . . . . 17 2.2.2 The Ubiquitous Computing View of Distributed Heterogeneous Computing . . . . 18 2.2.3 APIs for Distributed Application Development . . . . . . . . . . . . . . . . . . . 19 2.2.4 Distributed Interaction: Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.3 Software Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.3.1 The Elements of Software Architecture . . . . . . . . . . . . . . . . . . . . . . . 21 2.3.2 The Views of Software Architecture . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.4 Toolkits and Frameworks for Developing Tangible Interfaces . . . . . . . . . . . . . . . . 23 2.4.1 Hardware Toolkits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.4.2 Tangible Computing Software Toolkits . . . . . . . . . . . . . . . . . . . . . . . . 26 2.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 Chapter 3: An Architecture for Tangible Interaction-based Systems with Distributed Heterogenous Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.1 Requirements of a Distributed Tangible Interaction System . . . . . . . . . . . . . . . . . 32 3.1.1 Functional Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.1.2 Non-Functional Requirements: System Qualities . . . . . . . . . . . . . . . . . . 34 3.2 Architectural Views . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.2.1 Logical View of a Tangible System Architecture . . . . . . . . . . . . . . . . . . . 37 3.2.2 Process View: Tangible System Architecture . . . . . . . . . . . . . . . . . . . . . 38 3.2.3 Development View . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.2.4 Physical View . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.3 Architectural Elements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 iii 3.3.1 Data Elements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.3.2 Connectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.3.3 Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 3.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 Chapter 4: TUIKit: A Software Development Toolkit for Tangible Interaction with Distributed, Heterogeneous Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.1 The TUIKit architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.1.1 Resource Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.1.2 Resource Proxy Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 4.1.3 Messaging Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 4.2 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4.2.1 A Note on Communication Mechanisms for Distributed Interactive Systems . . . . 52 4.3 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.4 Strengths and Weaknesses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 Chapter 5: Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.1 Architectural Styles for Distributed Interactive Systems . . . . . . . . . . . . . . . . . . . 59 5.1.1 Data-flow Styles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 5.1.2 Hierarchical . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 5.1.3 Peer-to-Peer Styles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 5.1.4 Connector Styles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 5.2 Evaluation of the PTI Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 5.2.1 Deriving the Proxy Tangible Interactor Style . . . . . . . . . . . . . . . . . . . . . 69 5.2.2 Architectural Styles-based Assessment of PTI . . . . . . . . . . . . . . . . . . . . 71 5.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Chapter 6: Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 6.1 Dissertation Research Implications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 6.2 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 6.3 Closing Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 Appendix A: The TUIKit Application Programming Interface . . . . . . . . . . . . . . . . . . . . 91 A.